Geoffrey Hinton
https://gyazo.com/054f097fe877e2ee17a3c2ac05cad76c
Backpropagation: In a 1986 paper, “Learning Internal Representations by Error Propagation,” co-authored with David Rumelhart and Ronald Williams, Hinton demonstrated that the backpropagation algorithm allowed neural nets to discover their own internal representations of data, making it possible to use neural nets to solve problems that had previously been thought to be beyond their reach. The backpropagation algorithm is standard in most neural networks today. DeepL.iconバックプロパゲーション1986年にDavid Rumelhart、Ronald Williamsと共同で発表した論文「Learning Internal Representations by Error Propagation」で、Hintonはバックプロパゲーションアルゴリズムによってニューラルネットがデータの内部表現を発見できることを示し、それまでニューラルネットの手に負えないと考えられていた問題を解決することができるようになりました。バックプロパゲーションアルゴリズムは、今日、ほとんどのニューラルネットワークで標準的に使用されています。
Boltzmann Machines: In 1983, with Terrence Sejnowski, Hinton invented Boltzmann Machines, one of the first neural networks capable of learning internal representations in neurons that were not part of the input or output. DeepL.icon1983年、ヒントンはテレンス・セジュノウスキーとともに、入出力に含まれないニューロンの内部表現を学習できる最初のニューラルネットワークの1つであるボルツマン・マシンを発明した。
Improvements to convolutional neural networks: In 2012, with his students, Alex Krizhevsky and Ilya Sutskever, Hinton improved convolutional neural networks using rectified linear neurons and dropout regularization. In the prominent ImageNet competition, Hinton and his students almost halved the error rate for object recognition and reshaped the computer vision field. DeepL.icon2012年、Hintonは学生であるAlex KrizhevskyとIlya Sutskeverとともに、整流線形ニューロンとドロップアウト正則化を用いて畳み込みニューラルネットワークを改良しました。著名なImageNetコンペティションにおいて、Hintonと彼の学生は物体認識のエラーレートをほぼ半減させ、コンピュータビジョン分野を再構築した。
@gijigae: AI研究の第一人者であるトロント大学のジェフリー・ヒントン先生。先週 @CBSNews と行ったインタビューで、自らの性能を改善できるAIが5年以内に出現することも可能と説いている📺。数年前までは不可能だったことが「できるかも」と現実的に変わりつつある。社会や仕事、教育の再設計が必要だと思う。 https://video.twimg.com/ext_tw_video/1642370760437284864/pu/vid/1272x720/IqKx5NjQEaaBPwuF.mp4?tag=12#.mp4
AIの倫理面を発言するためにGoogleをやめた
「カラスはパズルを解くことができますが、言語は使いません。カラスは記号の列を記憶して操作することでパズルを解くわけではないのです。脳の神経細胞間のつながりの強さを変えることで、知能を実現しています。ですから、人工ニューラル・ネットワークのつながりの強さを変えることで、複雑なことを学習できるようになるはずなのです」。
大規模言語モデルは、その名が示す通り、膨大な数のつながりを持つ大規模なニューラルネットワークで作られている。しかし、脳に比べればそれらは微々たるものだ。「私たちの脳には100兆個のつながりがあります」とヒントンは言う。「大規模言語モデルでは最大で5000億から1兆です。しかし、GPT-4は、1人の人間と比べるとその何百倍ものことを知っています。ですから、実は私たちよりもずっと優れた学習アルゴリズムを持っているのかもしれません」。